มัสยิดกาปิตันเคลิงสร้างขึ้นครั้งแรกโดยกลุ่มคนของบริษัทอีสต์อินเดียซึ่งเป็นมุสลิมกลุ่มแรกที่เข้ามาตั้งรกรากในปีนังในช่วงปลายทศวรรษที่ 1700 หลายปีต่อมา ชุมชนชาวมุสลิมอินเดียมีจำนวนเพิ่มขึ้นเรื่อยๆ และต้องการมัสยิดคงทนถาวรกว่าเดิม ในปี ค.ศ. 1801 ชุมชนชาวมุสลิมนำโดยคาวเดอร์ มิดิน เมอร์ริคัน หรือที่รู้จักในในชื่อ "กาปิตัน เคลิง" ได้รับที่ดินแปลงหนึ่งเนื้อที่ 18 เอเคอร์ จึงตัดสินใจสร้างมัสยิดนี้ขึ้น เดิมที ตัวมัสยิดสร้างจากอิฐ มีหนึ่งชั้น แต่ต่อมามีการบูรณะอีกหลายครั้ง ด้านนอกของมัสยิดล้อมรอบด้วยกำแพงเตี้ยๆ อาคารมัสยิดมีสีขาว ประดับด้วยโดมและหอคอยแบบโมกุลสีเหลือง ภายในมัสยิดมีมาดราซาห์ (สถานที่สอนศาสนา) นอกจากนี้ บริเวณมุมถนนบักกิ้งแฮมและพิตสตรีท ยังมีหอคอยสูงซึ่งครั้งหนึ่งเคยใช้ประกาศเรียกชาวมุสลิมมาทำละหมาดตั้งอยู่